Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning
理解LLM微调中记忆知识为何难以泛化的机制
🧭 LLM微调 · 知识泛化与电路错位
HKUST(GZ) · HKUST
揭示“知用鸿沟”：记忆的表示存在但未路由到有效计算层，提出自修补干预可恢复58-75%的泛化失败
📌 工作参考价值（4 点）
- 微调注入新知识后推理失败的诊断：在电商/Agent场景中，若微调后模型能记忆商品属性但无法正确回答组合推理（如“哪个去年发布的手机拍照最好”），可通过自修补（self-patching）分析内部激活定位，找出哪些层的表示未参与推理，指导后续模型优化。
- 无需重新训练即可部分修复推理：采用简单的启发式规则（如将某些层的记忆表示转移到关键计算层），可快速恢复泛化能力，适合在线知识更新后紧急修复推理表现，成本低。
- 微调策略的启示：设计训练损失时，应考虑让与推理相关的深层也参与记忆表示的学习，或加入辅助任务迫使知识表示向有效计算层对齐，避免“知用鸿沟”。
- 模型调试工具：自修补方法可作为内部调试工具，用于持续集成测试中自动检测新知识注入后的推理衰退，降低线上事故风险。